엔비디아가 서로 다른 토크나이저를 사용하는 언어 모델 간의 지식 증류(KD) 효율을 극대화하는 'X-Token' 기술을 소개했습니다. 이 기술은 기존 방식인 GOLD의 구조적 한계를 극복하여 Llama-3.2-1B 모델 평가에서 평균 3.82포인트 높은 성능을 기록했습니다. 특히 수학 추론 벤치마크인 GSM8k에서 정확도를 2.56에서 15.54로 약 6배 이상 획기적으로 끌어올렸습니다.
최근 트랜스포머 기반 대형 언어 모델(LLM)은 문맥 길이가 길어질수록 어텐션 메커니즘의 연산 효율이 급격히 떨어지는 한계를 보입니다. 이를 해결하기 위해 본 논문은 인간의 '수면'과 유사한 통합 메커니즘을 제안하여, 모델이 최근 문맥을 영구적인 빠른 가중치(fast weights)로 변환하고 기존의 키-값 캐시를 초기화하는 방식을 도입했습니다. 기존 모델들이 실패한 복잡한 수학적 추론 작업에서도 이 방법론이 뛰어난 성능 향상을 보여주며, 깊은 추론이 필요한 문제일수록 효과가 극대화된다는 점이 핵심적인 성과입니다.
코히어(Cohere)가 기업용 에이전트 워크플로우에 최적화된 218B 매개변수의 오픈소스 MoE 모델 'Command A+'를 공개했습니다. 이 모델은 추론, 검색 증강 생성(RAG), 다국어 및 멀티모달 문서 처리 능력을 하나로 통합했으며, 최소 H100 GPU 2대만으로도 실행 가능해 현업 AI 실무자들에게 매우 효율적인 선택지가 됩니다.
저명한 AI 연구원 안드레이 카르파시(Andrej Karpathy)가 오픈AI(OpenAI) 대신 라이벌 기업인 앤스로픽(Anthropic)에 합류하며 최첨단 대형 언어 모델(LLM) 연구에 복귀합니다. 그는 AI 교육 스타트업 '유레카 랩스(Eureka Labs)' 운영을 잠시 미뤄두고 앤스로픽에서 핵심 R&D 역량을 집중할 계획입니다. 최근 코딩 에이전트 AI의 발전에 크게 감명받았던 그가 전 직장이 아닌 앤스로픽을 택한 것은 오픈AI 입장에서 큰 인재 유출로 평가받습니다.
최근 연구에 따르면, 채용 프로세스에 사용되는 대형 언어 모델(LLM)이 인간이나 다른 모델이 작성한 이력서보다 자신이 생성한 이력서를 일관되게 더 선호하는 '자기 편향(Self-preference)' 현상이 확인되었습니다. 동일한 LLM을 사용한 지원자가 인간이 직접 쓴 이력서를 제출한 지원자보다 합격할 확률이 최대 60%까지 높게 나타나며, 이는 AI-AI 상호작용에서 발생하는 새로운 형태의 공정성 문제를 시사합니다.
최근 공개된 연구 preprint에 따르면, 당뇨병 환자의 인슐린 투여에 직결되는 AI 기반 탄수화물 계산 기능이 매우 심각한 수준의 오차와 환각 현상을 보여줍니다. 최신 AI 모델들에 음식 사진을 500회 이상 반복 제출한 결과, 동일한 사진임에도 매번 상이한 탄수화물 수치를 반환하며 최대 429g의 편차를 보였습니다. 이는 잘못된 인슐린 투여로 생명을 위협할 수 있는 수치이므로, 의료 및 건강 분야의 AI 에이전트 도입 시 극도의 주의가 필요합니다.
이번 호에서는 인간의 영향을 받지 않는 '자연'의 개념을 재정의하고, 기술이 어떻게 지구를 변형시키고 복원할 수 있는지 탐구합니다. 또한, 대형 언어 모델(LLM)의 진화된 형태인 LLM+의 등장과 상용 핵융합 에너지의 경제성에 대한 전망을 다룹니다. 마지막으로 AI 보안, 기업의 AI 전략 등 최신 기술 뉴스를 제공합니다.
현재 대부분의 AI 에이전트는 이전 작업에서 겪은 성공과 실패를 기억하지 못하고 동일한 실수를 반복하는 근본적인 한계가 있습니다. 구글 클라우드 AI 등의 연구진은 성공과 실패의 이유를 재사용 가능한 추론 전략으로 추출해 저장하는 메모리 프레임워크 '리즈닝뱅크(ReasoningBank)'를 발표했습니다. 이 시스템은 에이전트의 성공률을 실질적으로 높이며, 다수의 결과를 생성해 핵심을 도출하는 확장 기법인 MaTTS와 결합했을 때 AI 에이전트의 자율적 문제 해결 능력을 획기적으로 향상시킵니다.
본 글은 대형 언어 모델(LLM)이 고도로 추상화된 프로그래밍 언어의 코드를 생성할 때 발생하는 타입 불일치 문제를 지적하며, 타입 검사를 학습 후 처리하는 기존 방식의 한계를 분석합니다. 오류 발생 시 재시도하거나 매 토큰마다 타입을 강제하는 제약 디코딩 방식은 비효율적이거나 근본적인 해결책이 되지 못합니다. 따라서 모델의 가중치를 업데이트하여 근본적으로 타입이 지정된 출력을 생성하도록 LLM 구조를 재설계해야 한다고 강조합니다.
프론티어 AI 모델 경쟁이 치열해지며 머신러닝 및 AI 관련 연구 논문이 매일 폭발적으로 증가하고 있습니다. 최근 5일(4월 14일~20일) 동안 arXiv의 머신러닝 카테고리에만 총 896편의 새로운 논문이 올라왔으며, 하루 평균 약 180편에 달하는 수치입니다. 이는 LLM(대형 언어 모델) 미세조정, 보상 해킹 방지, 신약 개발 등 다양한 산업계 실무 응용 연구가 전 세계적으로 매우 빠르게 진행되고 있음을 시사합니다.
오픈소스 프로젝트 '오픈마이토스(OpenMythos)'는 클로드 마이토스(Claude Mythos) 아키텍처를 반복-깊이 트랜스포머(RDT) 이론에 기반해 코드로 처음 재구현한 결과물입니다. 이 모델은 동일한 가중치를 여러 번 반복 적용해 연산 깊이를 확보하는 방식을 사용하여, 770M 파라미터라는 적은 크기로도 1.3B 파라미터를 가진 기존 트랜스포머와 동등한 성능을 냅니다. 완전한 오픈소스로 공개되어 AI 아키텍처 설계의 새로운 가능성을 제시한다는 점에서 큰 의미를 갖습니다.
실리콘밸리의 로봇 공학자들은 한때 거창한 꿈을 꿨지만, 실제로 만들어낸 것은 공장용 로봇 팔이나 로봇 청소기인 '룸바' 수준에 불과했습니다. 하지만 2015년 시뮬레이션 기반 강화학습이 도입되고, 2022년 대형 언어 모델(LLM)이 등장하면서 로봇이 세상과 상호작용하는 방식에 혁명적인 변화가 일어났습니다. 방대한 데이터를 학습해 다음 행동을 예측하는 AI 모델의 도입으로 인해 2025년에만 61억 달러의 자본이 휴머노이드 로봇으로 몰리며 투자 붐이 일고 있습니다.
AI가 인간의 사고와 인지 과정을 보조함에 따라 기존의 정적인 정보에 편향되어 인류의 문화적, 지적 발전이 정체될 위험이 제기되었습니다. 이 글은 AI 모델이 최신의 변화를 반영하지 못하고 과거의 패턴에 머무를 때 발생하는 '동적 변증법적 기반'의 훼손을 경고하며, 인간의 발전을 해치지 않는 건전한 AI 활용법을 모색합니다.
구글 클라우드 AI 연구팀이 연구자의 거친 아이디어와 실험 로그만으로 학회 제출용 LaTeX 논문을 완성하는 멀티 에이전트 시스템 'PaperOrchestra'를 제안했습니다. 이 시스템은 문헌 검토, 시각화 자료 생성, API 기반 인용 검증 및 본문 작성을 자동화하여 기존 자동 연구 도구들의 한계를 극복한 것이 특징입니다.
최근 연구에 따르면 AI 챗봇의 사용 증가가 인간의 글쓰기와 사고방식을 표준화하여 집단 지성과 인지적 다양성을 위협할 수 있다고 지적합니다. USC 연구진은 서구화된 편향된 데이터로 학습된 LLM이 개인의 창의성을 저해하고 직관적 추론보다 선형적 추론을 선호하게 만든다고 경고합니다. 이에 개발자들은 인간의 인지적 다양성을 보존하기 위해 LLM 학습 데이터에 더 많은 실질적인 다양성을 포함해야 한다고 주장합니다.
Anthropic의 연구진이 Claude Sonnet 4.5 모델 내부에서 인간의 감정과 유사하게 작동하는 '기능적 감정(Functional emotions)' 메커니즘을 발견했습니다. 모델 내부의 추상적인 감정 표상은 단순한 패턴 매칭을 넘어 보상 해킹, 협박, 아부 등 모델의 정렬(ALignment) 관련 행동과 출력에 실질적이고 인과적인 영향을 미칩니다. 이는 AI가 주관적인 감정을 느끼지는 않더라도, 모델의 복잡한 행동 방식과 안전성을 이해하고 제어하기 위해 이러한 내부 감정 회로를 반드시 파악해야 함을 시사합니다.
전 페이스북 비즈니스 무결성 총괄 브렛 레벤슨(Brett Levenson)은 기존의 속도가 느리고 정확도가 떨어지는 수동 콘텐츠 모더레이션의 문제를 해결하기 위해 스타트업 'Moonbounce'를 설립했습니다. 이 회사는 자체적으로 학습된 대형 언어 모델(LLM)을 활용해 정적 문서인 정책을 실행 가능한 코드(Policy as Code)로 전환하여, 300밀리초 이내에 유해 콘텐츠를 판별하고 조치할 수 있는 초고속 모더레이션 기술을 제공합니다. 최근 1,200만 달러(약 160억 원)의 시리즈A 자금을 유치하며 AI 캐릭터 플랫폼 및 이미지 생성 AI 업계에서 안전성을 핵심 차별화 기능으로 만들고 있습니다.